1075. Орлов А.И. Модель анализа совпадений при расчете непараметрических ранговых статистик // Заводская лаборатория. Диагностика материалов. 2017. Т.83. №11. С. 66-72.

Модель анализа совпадений при расчете непараметрических ранговых статистик

А.И. Орлов

	Непараметрическая статистика - одна из точек роста современных математико-статистических методов исследования. В непараметрической статистике важное место занимают ранговые критерии, основанные на использовании рангов элементов выборок (результатов наблюдений), а не самих числовых значений элементов выборок. Ранги - это номера элементов выборок в соответствующих вариационных рядах, построенных путем перестановки результатов наблюдений в порядке неубывания. Распределения ранговых критериев получены в предположении, что функции распределения результатов наблюдений непрерывны. Из этого предположения следует, что вероятность совпадения значений случайных величин, образующих анализируемые выборки, равна 0. Однако в реальных данных встречаются совпадения. Следовательно, неверно предположение, что функции распределения результатов наблюдений непрерывны, а потому известными теоремами о распределениях ранговых статистик¸ строго говоря, пользоваться нельзя. Тем не менее при небольшом числе совпадений обычно рекомендуют применять ранговые статистики, иногда вводя те или иные поправки. Таким образом, над классической математико-статистической теорией устанавливают дополнительную надстройку с целью учета совпадения данных. Естественно, возникает вопрос о степени обоснованности тех или иных методов учета совпадения данных расчета. Мы предлагаем вероятностно-статистическую модель, объясняющую появление совпадений и дающую алгоритмы анализа совпадений. Эта модель основана на предположении о появлении совпадений данных в результате "слипания" мало различающихся результатов наблюдений. Мы предлагаем добавить малую поправку к каждому элементу совпадающей группы результатов наблюдений и в результате получить выборку без совпадений, для которой рассчитать значение ранговой статистики. Рассмотрев различные варианты поправок, получаем "облако" значений ранговой статистики. Анализ этого "облака" позволяет получить статистические выводы. В качестве примера рассмотрен двухвыборочный критерий Вилкоксона.

	Ключевые слова: непараметрическая статистика, ранговые критерии, совпадение данных, вероятностно-статистическая модель, алгоритм анализа совпадений, двухвыборочный критерий Вилкоксона.

	Непараметрическая статистика - одна из точек роста современных математико-статистических методов исследования [1]. В непараметрической статистике важное место занимают ранговые критерии, основанные на использовании рангов наблюдений, а не самих результатов измерений, наблюдений, испытаний, опытов, анализов, обследований (короче - данных). Ранги - это номера результатов наблюдений в соответствующих вариационных рядах, построенных путем перестановки результатов наблюдений в порядке неубывания.
	Непараметрическая статистика началась с критерия Колмогорова, предназначенного для проверки согласия выборочного распределения с заданным теоретическим [3]. Другими примерами ранговых критериев являются критерий Вилкоксона [4, 5] и другие критерии проверки однородности двух независимых выборок, прежде всего состоятельные критерии Смирнова и Лемана-Розенблатта [6], а также критерий Орлова типа омега-квадрат [7, 8] для проверки однородности связанных выборок (симметрии распределения относительно 0). 
	Как известно, распределения ранговых критериев получены в предположении, что функции распределения результатов наблюдений непрерывны. Из этого предположения следует, что вероятность совпадения значений случайных величин, образующих анализируемые выборки, равна 0. 
	Однако в реальных данных встречаются совпадения. Следовательно, неверно предположение, что функции распределения результатов наблюдений непрерывны, а потому известными теоремами о распределениях ранговых статистик¸ строго говоря, пользоваться нельзя.
	Тем не менее при небольшом числе совпадений обычно рекомендуют применять ранговые статистики, иногда вводя те или иные поправки [9]. Таким образом, над классической математико-статистической теорией устанавливают дополнительную надстройку с целью учета совпадения данных. Естественно, возникает вопрос о степени обоснованности рекомендуемых методов расчета.
	Строго говоря, отклонения от классической теории имеют быть и при отсутствии совпадения данных. Дело в том, что представленные для анализа данные записаны с определенным числом значащих цифр, т.е. принадлежат некоторому множеству из конечного числа элементов. Вероятность же того, что значение случайной величины с непрерывной функцией распределения принадлежит этому конечному множеству, равна 0. С вероятностью 1 ее значение должно описываться действительным числом с бесконечным числом значащих цифр, что возможно только в теории. Таким образом, обрабатываемые данные с вероятностью 1 не соответствуют классической математико-статистической теории [10].

Моделирование как фундамент разработки статистических методов

	В соответствии с современными подходами к математическим методам исследования необходимо, чтобы сначала была описана математическая (вероятностно-статистическая) модель порождения данных - и тем самым сделан переход от реального мира внутрь математической конструкции - и только после этого проводились расчеты (внутри математики). Затем переходим к заключительному этапу исследования - математические результаты интерпретируются в терминах предметной области.
	Типовая ошибка слабо подготовленных исследователей - игнорирование математической (вероятностно-статистической) модели. Они сразу начинают строить здание без фундамента - проводить какие-то расчеты.
	Модели могут быть разные. Важно, чтобы они были, причем обоснованные.
	Для описания реальных данных целесообразно использовать основную модель статистики интервальных данных [11], согласно которой анализируемые данные отягощены ошибками.
	Точнее, пусть существо реального явления описывается выборкой x1, x2, ..., xn. В вероятностной теории математической статистики выборка моделируется набором независимых в совокупности одинаково распределенных случайных величин. Однако беспристрастный и тщательный анализ подавляющего большинства реальных задач показывает, что статистику известна отнюдь не выборка x1, x2, ..., xn, а величины
yj = xj + j, j = 1, 2, ..., n, 
где 1, 2, …, n —  некоторые погрешности измерений, наблюдений, анализов, опытов, исследований (например, инструментальные ошибки). Одна из причин появления погрешностей — запись результатов наблюдений с конечным числом значащих цифр.
	Если ограничения на погрешности имеют вид
| i |  , i = 1, 2, …, n,
причем  мало, то для различающихся значений из множества чисел y1, y2, ..., yn их ранги совпадают с рангами соответствующих чисел из множества x1, x2, ..., xn (точнее, вероятность такого совпадения стремится к 1 при ). Поэтому достаточно рассмотреть вероятностно-статистическую модель для совпадающих значений в анализируемых выборках.
	Основная идея состоит в том, что совокупность совпадающих значений y1 = y2 = ...= yk = а получена из набора xj = yj - j,  j = 1,2, ..., , при некоторых малых отклонениях j,  j = 1,2, ..., k. Одна точка а соответствует "облаку" из k точек. Соответственно получаем "облако" упорядочений, состоящее из k! ранжировок, каждая из которых реализуется с вероятностью 1/ k!. Каждое упорядочение порождает соответствующее значение ранговой статистики, а все ранжировки - "облако" таких значений. При наличии нескольких групп совпадающих значений упорядочения комбинируются, и число элементов итогового "облака" равно произведению факториалов, соответствующих отдельным облакам. Поскольку некоторые значения в облаке могут совпадать, то число различных элементов в итоговом "облаке" может быть меньше указанного.
	Анализ описанных "облаков" может проводиться разными способами. Один вариант - рассчитать "исправленное" значение ранговой статистики, усреднив элементы "облака" в соответствии с вероятностями их появления. Нам представляется более практичным подход на основе теории устойчивости статистических процедур [12], в простейшем случае сводящийся к расчету размаха возможных значений ранговой статистики (т.е. значений, входящих в "облако").
	Не стремясь в настоящей статье к построению достаточно общей, а потому математизированной теории, продемонстрируем сказанное на примере широко распространенного, хорошо изученного и активно используемого рангового критерия.

Анализ совпадений для двухвыборочного критерия Вилкоксона

	Рассмотрим численный пример. Пусть даны две выборки. Первая содержит m = 12 элементов 17; 22; 3; 5; 15; 2; 0; 7; 13; 97; 66; 14. Вторая содержит n = 14 элементов 47; 30; 2; 15; 1; 21; 25; 7; 44; 29; 33; 11; 6; 15. Опишем проверку однородности функций распределения двух независимых выборок с помощью критерия Вилкоксона. Первым шагом является построение общего вариационного ряда для элементов двух выборок (табл. 1).

Таблица 1. Общий вариационный ряд для элементов двух выборок
Ранги	1	2	3,5	3,5	5	6	7	8,5	8,5	10	11	12	14	
Элементы выборок	0	1	2	2	3	5	6	7	7	11	13	14	15	
Номера выборок	1	2	1	2	1	1	2	1	2	2	1	1	1	
Ранги	14	14	16	17	18	19	20	21	22	23	24	25	26	
Элементы выборок	15	15	17	21	22	25	29	30	33	44	47	66	97	
Номера выборок	2	2	1	2	1	2	2	2	2	2	2	1	1	

	Хотя с точки зрения теории математической статистики вероятность совпадения двух элементов выборок из непрерывных распределений равна 0, в реальных выборках статистических данных совпадения встречаются. Так, в рассматриваемых выборках, как видно из табл. 1, два раза повторяется величина 2, два раза - величина 7 и три раза - величина 15. В таких случаях с целью рассчитать "исправленное" значение ранговой статистики говорят о наличии «связанных рангов», а соответствующим совпадающим величинам приписывают среднее арифметическое тех рангов, которые они занимают. Так, результаты измерений 2 и 2 занимают в объединенной выборке места 3 и 4, поэтому им приписывается ранг (3+4)/2 = 3,5. Величины 7 и 7 занимают в объединенной выборке места 8 и 9, поэтому им приписывается ранг (8+9)/2=8,5. Величины 15, 15 и 15 занимают в объединенной выборке места 13, 14 и 15, поэтому им приписывается ранг (13+14+15)/3=14.
	Следующий шаг - подсчет значения статистики Вилкоксона, т.е. суммы рангов элементов первой выборки
S = R1 + R2 + ...+ Rm = 1+3,5+5+6+8,5+11+12+14+16+18+25+26=146.
Подсчитаем также сумму рангов элементов второй выборки
S1 = 2+3,5+7+8,5+10+14+14+17+19+20+21+22+23+24= 205.
Величина S1 может быть использована для контроля вычислений. Дело в том, что суммы рангов элементов первой выборки S  и второй выборки S1  вместе составляют сумму рангов объединенной выборки, т.е. сумму всех натуральных чисел от 1 до m + n. Следовательно,
S+ S1 = (m + n)(m + n + 1)/2= (12+14)(12+14+1)/2= 351.
В соответствии с ранее проведенными расчетами S + S1 = 146 + 205 = 351. Необходимое условие правильности расчетов выполнено. Ясно, что справедливость этого условия не гарантирует правильности расчетов.
	На практике проверять гипотезу однородности двух независимых выборок можно с помощью таблиц критических значений статистики Вилкоксона S. Однако в них ограничен диапазон возможных значений объемов выборок. Поэтому целесообразно строить алгоритм принятия решения на основе центрированной нормированной статистики Вилкоксона Т. Перейдем к ее расчету. Согласно [4, 5] 
,
где математическое ожидание M(S) статистики S равно
M(S) = m(m+n+1)/2,
а дисперсия M(S) статистики S равна
D(S) = mn(m+n+1)/12.
	Исходим из асимптотической нормальности статистики T: при безграничном росте объемов выборок () функция распределения P(T < x) статистики T стремится к функции  с математическим ожиданием 0 и дисперсией 1 [13]. Асимптотическая нормальность статистики T позволяет задавать критические значения критерия проверки однородности двух независимых выборок, построенного на основе этой статистики, с помощью квантилей стандартного нормального распределения. 
	Согласно сказанному выше
М(S) = 12(12+14+1)/ 2 = 162, D(S) = 12.14(12+14+1) / 12= 378.
Следовательно, 
T = (S - 162) (378)-1/2 = (146-162) / 19,44 = - 0,82.
Поскольку |T| < 1,96, то гипотеза однородности принимается на уровне значимости 0,05.
	Что будет, если поменять выборки местами, вторую назвать первой? Тогда вместо S надо рассматривать S1. Имеем 
М(S1) = 14(12+14+1)/2 = 189, D(S) = D(S1) = 378,
T1 = (S1 - 189) (378)-1/2 = (205-162) / 19,44 = 0,82.
Таким образом, значения статистики критерия отличаются только знаком (можно показать, что это утверждение верно всегда). Поскольку в правиле принятия решения используется только абсолютная величина статистики, то принимаемое решение не зависит от того, какую выборку считаем первой, а какую второй. Для уменьшения объема таблиц критических значений ранее было принято считать первой выборку меньшего объема. 
	Построим "облако" упорядочений, соответствующее введенной выше модели анализа совпадающих значений. Поскольку в выборку входят целые числа, то достаточно принять, что максимальная абсолютная погрешность не превосходит  < 0,5. Результаты построения "облака" упорядочений приведены в табл.2. В ней выделены три группы совпадающих значений, для которых ранее в табл.1 были введены связанные ранги. Значение 2 имеется как в выборке 1, так и в выборке 2. При построении "облака" меньшим может быть либо реальное значение из выборки 1 (упорядочения 1 - 6), либо реальное значение из выборки 2 (упорядочения 7 - 12), всего 2 возможности. Аналогична ситуация со значением 7. Оно имеется как в выборке 1, так и в выборке 2. При построении "облака" меньшим может быть либо реальное значение из выборки 1 (упорядочения 1 - 3 и 7 - 9), либо реальное значение из выборки 2 (упорядочения 4 - 6 и 10 - 12), всего 2 возможности. Несколько сложнее со значением 15. Оно один раз встречается в выборке 1 и два раза в выборке 2. Следовательно, реальное упорядочение состоит из трех элементов. При построении "облака" реальное значение из выборки 1 может стоять либо на первом месте (упорядочения 1, 4, 7, 10), либо на втором месте (упорядочения 2, 5, 8, 11), либо на третьем (упорядочения 3, 6, 9, 12), остальные два места занимают реальные значения их второй выборки, всего 3 возможности. Таким образом, облако состоит из  = 12 упорядочений. 

Таблица 2. "Облако" упорядочений для совпадающих данных табл. 1.
Связанные ранги 	3,5	3,5	8,5	8,5	14	14	14	Статистика S	
Упорядочение 1	3	4	8	9	13	14	15	144	
Упорядочение 2	3	4	8	9	14	13	15	145	
Упорядочение 3	3	4	8	9	15	13	14	146	
Упорядочение 4	3	4	9	8	13	14	15	145	
Упорядочение 5	3	4	9	8	14	13	15	146	
Упорядочение 6	3	4	9	9	15	13	14	147	
Упорядочение 7	4	3	8	9	13	14	15	145	
Упорядочение 8	4	3	8	9	14	13	15	146	
Упорядочение 9	4	3	8	9	15	13	14	147	
Упорядочение 10	4	3	9	8	13	14	15	146	
Упорядочение 11	4	3	9	8	14	13	15	147	
Упорядочение 12	4	3	9	9	15	13	14	148	
Элементы выборок	2	2	7	7	15	15	15		
Номера выборок	1	2	1	2	1	2	2		

	Подсчитаем значения статистики Вилкоксона, т.е. сумму рангов элементов первой выборки. Как показано выше, при использовании взвешенных рангов S = S0 = 146.
	Для упорядочения 1 
S = S1 = 1+3+5+6+8+11+12+13+16+18+25+26 = S0 - 0,5 - 0,5 -1=144.
	Для упорядочения 2 
S = S2 = 1+3+5+6+8+11+12+14+16+18+25+26 = S0 - 0,5 - 0,5 =145.
	Для упорядочения 3 
S = S3 = 1+3+5+6+8+11+12+15+16+18+25+26 = S0 - 0,5 - 0,5 + 1 =146.
	Для упорядочения 4 -
S = S4 = 1+3+5+6+9+11+12+13+16+18+25+26 = S0 - 0,5 + 0,5 - 1 =145.
	Для упорядочения 5 
S = S5 = 1+3+5+6+9+11+12+14+16+18+25+26 = S0 - 0,5 + 0,5 =146.
	Для упорядочения 6 
S = S6 = 1+3+5+6+9+11+12+15+16+18+25+26 = S0 - 0,5 + 0,5 + 1=147.
	Для упорядочения 7 
S = S7 = 1+4+5+6+8+11+12+13+16+18+25+26 = S0 + 0,5 - 0,5 -1=145.
	Для упорядочения 8 
S = S8 = 1+4+5+6+8+11+12+14+16+18+25+26 = S0 + 0,5 - 0,5 =146.
	Для упорядочения 9 
S = S0 = 1+4+5+6+8+11+12+15+16+18+25+26 = S0 + 0,5 - 0,5 + 1 =147.
	Для упорядочения 10 
S = S10 = 1+4+5+6+9+11+12+13+16+18+25+26 = S0 + 0,5 + 0,5 - 1 =146.
	Для упорядочения 11 
S = S11 = 1+4+5+6+9+11+12+14+16+18+25+26 = S0 + 0,5 + 0,5 =147.
	Для упорядочения 12 
S = S12 = 1+4+5+6+9+11+12+15+16+18+25+26 = S0 + 0,5 + 0,5 + 1=148.
	Поскольку все 12 упорядочений равновероятны, то распределение величины S имеет вид, представленный в табл.3.

Таблица 3. Распределение значений статистики Вилкоксона в "облаке"
Значения	144	145	146	147	148	
Вероятности	1/12	3/12	4/12	3/12	1/12	

	Таким образом, анализ совпадений позволил перейти от точечного значения статистики Вилкоксона к интервалу [144, 148]. Разброс небольшой, влияние на выводы мало. Действительно, значение центрированной и нормированной статистики Вилкоксона T лежит в интервале [T1, T2], где
T1 = (144 - 162) / 19,44 = - 0,93, T1 = (148 - 162) / 19,44 = -0,72.
Разброс небольшой, вывод о принятии нулевой гипотезы об однородности сохраняется.

Заключение

	Настоящая работа посвящена анализу особенностей применения критериев непараметрической статистики в условиях несоблюдения важного теоретического предположения о том, что функции распределения результатов наблюдений непрерывны. Отмечаем, что для реальных выборок такое предположение редко выполняется и практически всегда имеются совпадающие значения. Это заставляет ряд исследователей вводить специальные поправки, учитывающие наличие «связанных рангов». Автор предлагает другой подход – на основе теории устойчивости статистических процедур рассчитать интервал возможных значений ранговой статистики. Для пояснения подхода рассматривается пример, в котором проводится проверка однородности функций распределения двух независимых выборок с помощью двухвыборочного критерия Вилкоксона (Манна - Уитни). Вместо обычно применяемой точечной оценки в настоящей работе получен интервал значений статистики Вилкоксона.
	Предлагается следующий алгоритм анализа совпадений при расчете непараметрических ранговых статистик.
	1. В объединенной выборке выделить группы совпадающих значений.
	2. На основе каждой группы совпадающих значений построить совокупность групп элементов объединенной выборки (названную выше "облаком"), добавляя к каждому входящему в группу элементу выборки малое положительное или отрицательное число.
	Комментарий к п. 2 алгоритма. Основная идея состоит в том, что совокупность представленных для статистического анализа совпадающих значений y1 = y2 = ...= yk = а получена (при связанным с процессом измерения округлениях) из набора xj = yj - j,  j = 1, 2, ..., k, при некоторых малых отклонениях j,  j = 1,2, ..., k, среди которых нет совпадающих. Одна точка а соответствует "облаку" из k различных точек xj = a - j ,  j = 1, 2, ..., k. 
	3. Упорядочить элементы "облака".
	Комментарий к п. 3 алгоритма. Для группы совпадающих значений y1 = y2 = ...= yk = а получаем "облако" упорядочений, состоящее из k! ранжировок, каждая из которых реализуется с вероятностью 1/k!. 
	4. Построить "облака" для всех групп совпадающих значений и скомбинировать их в единое "облако" для объединенной выборки.
	Комментарий к п. 4 алгоритма. При наличии нескольких групп совпадающих значений упорядочения комбинируются, и число элементов итогового "облака" равно произведению факториалов, соответствующих отдельным облакам. Итогом пп. 1- 4 является "размножение" единой исходной объединенной выборки на некоторое число похожих, отличающихся введением того или иного упорядочения совпадающих значений. Другими словами, основная идея алгоритма настоящей работы лежит в общем русле использования различных процедур "размножения выборки" [14].
	5. Рассчитать значение ранговой статистики для каждой выборки из единого "облака".
	Комментарий к п. 5 алгоритма. Каждое упорядочение порождает соответствующее значение ранговой статистики, а все ранжировки - "облако" таких значений. Поскольку некоторые значения в "облаке значений" могут совпадать, то число различных элементов в итоговом "облаке" может быть меньше, чем произведение факториалов, соответствующих отдельным облакам. 
	6. Проанализировать распределение "облака значений" ранговой статистики и оценить влияние совпадений элементов выборок на статистические выводы. 
	Комментарий к п. 6 алгоритма. Анализ описанных "облаков" может проводиться разными способами. Один вариант - рассчитать "исправленное" значение ранговой статистики, усреднив элементы "облака" в соответствии с вероятностями их появления. Нам представляется более практичным подход на основе теории устойчивости статистических процедур [12], в простейшем случае сводящийся к расчету размаха возможных значений ранговой статистики (т.е. значений, входящих в "облако").
	Представляется ясным, что разработанный в настоящей статье подход может быть успешно применен для различных непараметрических ранговых статистик при анализе совпадений анализируемых данных.

Литература

	1. Орлов А.И. Точки роста статистических методов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. № 103. С. 136–162. 
	2. Орлов А.И. Структура непараметрической статистики (обобщающая статья) // Заводская лаборатория. Диагностика материалов. 2015. Т.81. №7. С. 62-72.
	3. Орлов А.И. Непараметрические критерии согласия Колмогорова, Смирнова, омега-квадрат и ошибки при их применении // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. № 97. С. 32-45.
	4. Орлов А.И. Какие гипотезы можно проверять с помощью двухвыборочного критерия Вилкоксона? // Заводская лаборатория. Диагностика материалов. 1999. Т.65. №1. С.51-55.
	5. Орлов А.И. Двухвыборочный критерий Вилкоксона – анализ двух мифов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. № 104. С. 91 – 111.
	6. Орлов А.И. Состоятельные критерии проверки абсолютной однородности независимых выборок // Заводская лаборатория. Диагностика материалов. 2012. Т.78. №11. С.66-70.
	7. Орлов А.И. Методы проверки однородности связанных выборок // Заводская лаборатория. Диагностика материалов. 2004. Т.70. №7. С.57-61. 
	8. Орлов А.И. О проверке однородности связанных выборок // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2016. № 123. С. 708–726.
	9. Холлендер М., Вулф Д.А. Непараметрические методы статистики. - М.: Финансы и статистика., 1983. - 518 с.
	10. Орлов А.И. О методологии статистических методов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. № 104. С. 53 – 80.
	11. Орлов А.И. Статистика интервальных данных (обобщающая статья) // Заводская лаборатория. Диагностика материалов. 2015. Т.81. №3. С. 61 - 69.
	12. Орлов А.И. Устойчивые математические методы и модели // Заводская лаборатория. Диагностика материалов. 2010. Т.76. №3. С.59-67.
	13. Гаек Я., Шидак З. Теория ранговых критериев. - М.: Наука, 1971. - 376 с.
	14. Орлов А.И. Прикладная статистика. - М.: Экзамен, 2006. - 671 с.